Prédiction de type on-policy par approximations

6. Construction des fonctions d'approximation linéaires

6.2. Bases polynomiales

Dans de nombreux problèmes, les états sont exprimés à l'aide de nombres, comme par exemple les positions et les vitesses dans l'exemple du pendule inversé. Dans ce type de problème, les approximations de fonction dans le cadre de l'apprentissage par renforcement peuvent utiliser ce qui se fait dans les taches d'interpolation et de régression. Un des moyens les plus simples dans ce cas utilisaient les polynômes. Même si les caractéristiques polynomiales que nous allons voir ne fonctionnent pas aussi bien que d'autres types de caractéristiques dans le cadre de l'apprentissage par renforcement, elles permettent néanmoins d'introduire le principe général de fonctionnement des approximations linéaire.

Prenons par exemple un problème dans lequel les états de l'environnement sont définis par deux valeurs numériques en deux dimensions. Pour un état $s$ donné, on considère alors deux valeurs $s_1\inℝ$ et $s_2\inℝ$. On peut alors décider de représenter un état $s$ simplement par ces deux valeurs et de cette manière on obtient comme vecteur des caractéristiques $x(s) = (s_1,s_2)ᵀ$. Mais dans ce cas, la prise en compte des interactions entre les deux dimensions ne sont pas possibles.

Cette limitation peut être solutionnée en prenant par exemple un vecteur des caractéristiques à quatre dimensions : $x(s) = (1,s_1,s_2,s_1s_2)ᵀ$. Les trois premières composantes permettent alors de représenter des fonctions affines du couple $(s_1,s_2)$ et la dernière composante autorise les interactions entre les deux dimensions. On pourrait très bien prendre également un vecteur des caractéristiques de plus grande dimension comme par exemple $x(s) = (1,s_1,s_2,s_1s_2,{s_1}^2,{s_2}^2,s_1{s_2}^2,{s_1}^2s_2,{s_1}^2{s_2}^2)ᵀ$ pour prendre en compte davantage d'interactions.

De telles méthodes permettent d'approximer des fonctions arbitraires quadratiques tout en maintenant la linéarité des fonctions par rapport aux composantes du vecteur poids. En généralisant cet exemple à des dimensions supérieures à 2, on peut construire les bases polynomiales de la manière suivante :

Des bases polynomiales d'ordre supérieur permettent des approximations de fonctions plus complexes mais comme la complexité croit de manière exponentielle par rapport à la dimension de l'espace d'état, il est souvent plus avisé de choisir un sous-ensemble de ces caractéristiques. Cela peut se faire avec des méthodes de sélections automatisées ou manuellement en se basant sur la nature des fonctions à approximer.